Manipulación de datos con Tidyverse

Javier Emmanuel Anguiano Pita

CONAHCYT-Universidad de Guadalajara

7 de enero de 2025

Agenda del día

  1. Introducción a las estructuras de control.
  1. Flujo de trabajo para el análisis de datos.
  2. Manipulación de datos con Tidyverse.

Paquetes en R

Existen más de 20 mil funciones escritas por usuarios de R que están contenidas en paquetes (packages).

  • Hasta ahora solo hemos utilizado funciones que vienen incluidas de forma nativa en R base.
    • Los paquetes que han sido revisados de alguna forma por los usuarios de la comunidad de R se almacenan en el Comprehensive R Archive Network (CRAN).
    • Al momento de elaborar estas diapositivas la biblioteca del CRAN cuenta con 21,860 paquetes disponibles.

Paquetes en R

  • Un paquete en R es como un foco 💡
# Para usar un paquete primero debemos instalarlo
install.packages("package_name")
  # install.packages(package_name)

# Si queremos usar el paquete debemos invocarlo 
library(package_name)
  • La sintaxis es MUY importante
  • Los paquetes se descargan automáticamente de CRAN o algún repositorio en internet (avanzado).

Funciones en paquetes

  • Podemos evitar cargar un paquete en la memoria de R solo invocando una función: package_name::function().
# Podemos invocar funciones específicas
package_name::function()
  • Ventajas: Evitamos conflictos si hay funciones con el mismo nombre en varios paquetes. Dejamos evidencia para otros usuarios.
  • Desventajas: No es práctico si vamos a usar continuamente la función en nuestro código.

Tidyverse

¿Qué es Tidyverse?

El Tidyverse es una colección de paquetes de R diseñados para la administración y manipulación de datos ( data science ). Todos los paquetes comparten una misma filosofía de diseño, gramática y una estructura de datos subyacente (tidyverse.org).

Paquetes y funciones

Uso de paquetes y funciones

  1. Instalar el paquete una sola vez:
install.packages("dplyr")
  1. Cargar el paquete en la memoria (en cada nueva sesión de R):
library(dplyr)
  1. Ahora podemos usar las funciones de este paquete:
dplyr::rename(iris, Largo_petalo = Petal.Length )
    Sepal.Length Sepal.Width Largo_petalo Petal.Width    Species
1            5.1         3.5          1.4         0.2     setosa
2            4.9         3.0          1.4         0.2     setosa
3            4.7         3.2          1.3         0.2     setosa
4            4.6         3.1          1.5         0.2     setosa
5            5.0         3.6          1.4         0.2     setosa
6            5.4         3.9          1.7         0.4     setosa
7            4.6         3.4          1.4         0.3     setosa
8            5.0         3.4          1.5         0.2     setosa
9            4.4         2.9          1.4         0.2     setosa
10           4.9         3.1          1.5         0.1     setosa
11           5.4         3.7          1.5         0.2     setosa
12           4.8         3.4          1.6         0.2     setosa
13           4.8         3.0          1.4         0.1     setosa
14           4.3         3.0          1.1         0.1     setosa
15           5.8         4.0          1.2         0.2     setosa
16           5.7         4.4          1.5         0.4     setosa
17           5.4         3.9          1.3         0.4     setosa
18           5.1         3.5          1.4         0.3     setosa
19           5.7         3.8          1.7         0.3     setosa
20           5.1         3.8          1.5         0.3     setosa
21           5.4         3.4          1.7         0.2     setosa
22           5.1         3.7          1.5         0.4     setosa
23           4.6         3.6          1.0         0.2     setosa
24           5.1         3.3          1.7         0.5     setosa
25           4.8         3.4          1.9         0.2     setosa
26           5.0         3.0          1.6         0.2     setosa
27           5.0         3.4          1.6         0.4     setosa
28           5.2         3.5          1.5         0.2     setosa
29           5.2         3.4          1.4         0.2     setosa
30           4.7         3.2          1.6         0.2     setosa
31           4.8         3.1          1.6         0.2     setosa
32           5.4         3.4          1.5         0.4     setosa
33           5.2         4.1          1.5         0.1     setosa
34           5.5         4.2          1.4         0.2     setosa
35           4.9         3.1          1.5         0.2     setosa
36           5.0         3.2          1.2         0.2     setosa
37           5.5         3.5          1.3         0.2     setosa
38           4.9         3.6          1.4         0.1     setosa
39           4.4         3.0          1.3         0.2     setosa
40           5.1         3.4          1.5         0.2     setosa
41           5.0         3.5          1.3         0.3     setosa
42           4.5         2.3          1.3         0.3     setosa
43           4.4         3.2          1.3         0.2     setosa
44           5.0         3.5          1.6         0.6     setosa
45           5.1         3.8          1.9         0.4     setosa
46           4.8         3.0          1.4         0.3     setosa
47           5.1         3.8          1.6         0.2     setosa
48           4.6         3.2          1.4         0.2     setosa
49           5.3         3.7          1.5         0.2     setosa
50           5.0         3.3          1.4         0.2     setosa
51           7.0         3.2          4.7         1.4 versicolor
52           6.4         3.2          4.5         1.5 versicolor
53           6.9         3.1          4.9         1.5 versicolor
54           5.5         2.3          4.0         1.3 versicolor
55           6.5         2.8          4.6         1.5 versicolor
56           5.7         2.8          4.5         1.3 versicolor
57           6.3         3.3          4.7         1.6 versicolor
58           4.9         2.4          3.3         1.0 versicolor
59           6.6         2.9          4.6         1.3 versicolor
60           5.2         2.7          3.9         1.4 versicolor
61           5.0         2.0          3.5         1.0 versicolor
62           5.9         3.0          4.2         1.5 versicolor
63           6.0         2.2          4.0         1.0 versicolor
64           6.1         2.9          4.7         1.4 versicolor
65           5.6         2.9          3.6         1.3 versicolor
66           6.7         3.1          4.4         1.4 versicolor
67           5.6         3.0          4.5         1.5 versicolor
68           5.8         2.7          4.1         1.0 versicolor
69           6.2         2.2          4.5         1.5 versicolor
70           5.6         2.5          3.9         1.1 versicolor
71           5.9         3.2          4.8         1.8 versicolor
72           6.1         2.8          4.0         1.3 versicolor
73           6.3         2.5          4.9         1.5 versicolor
74           6.1         2.8          4.7         1.2 versicolor
75           6.4         2.9          4.3         1.3 versicolor
76           6.6         3.0          4.4         1.4 versicolor
77           6.8         2.8          4.8         1.4 versicolor
78           6.7         3.0          5.0         1.7 versicolor
79           6.0         2.9          4.5         1.5 versicolor
80           5.7         2.6          3.5         1.0 versicolor
81           5.5         2.4          3.8         1.1 versicolor
82           5.5         2.4          3.7         1.0 versicolor
83           5.8         2.7          3.9         1.2 versicolor
84           6.0         2.7          5.1         1.6 versicolor
85           5.4         3.0          4.5         1.5 versicolor
86           6.0         3.4          4.5         1.6 versicolor
87           6.7         3.1          4.7         1.5 versicolor
88           6.3         2.3          4.4         1.3 versicolor
89           5.6         3.0          4.1         1.3 versicolor
90           5.5         2.5          4.0         1.3 versicolor
91           5.5         2.6          4.4         1.2 versicolor
92           6.1         3.0          4.6         1.4 versicolor
93           5.8         2.6          4.0         1.2 versicolor
94           5.0         2.3          3.3         1.0 versicolor
95           5.6         2.7          4.2         1.3 versicolor
96           5.7         3.0          4.2         1.2 versicolor
97           5.7         2.9          4.2         1.3 versicolor
98           6.2         2.9          4.3         1.3 versicolor
99           5.1         2.5          3.0         1.1 versicolor
100          5.7         2.8          4.1         1.3 versicolor
101          6.3         3.3          6.0         2.5  virginica
102          5.8         2.7          5.1         1.9  virginica
103          7.1         3.0          5.9         2.1  virginica
104          6.3         2.9          5.6         1.8  virginica
105          6.5         3.0          5.8         2.2  virginica
106          7.6         3.0          6.6         2.1  virginica
107          4.9         2.5          4.5         1.7  virginica
108          7.3         2.9          6.3         1.8  virginica
109          6.7         2.5          5.8         1.8  virginica
110          7.2         3.6          6.1         2.5  virginica
111          6.5         3.2          5.1         2.0  virginica
112          6.4         2.7          5.3         1.9  virginica
113          6.8         3.0          5.5         2.1  virginica
114          5.7         2.5          5.0         2.0  virginica
115          5.8         2.8          5.1         2.4  virginica
116          6.4         3.2          5.3         2.3  virginica
117          6.5         3.0          5.5         1.8  virginica
118          7.7         3.8          6.7         2.2  virginica
119          7.7         2.6          6.9         2.3  virginica
120          6.0         2.2          5.0         1.5  virginica
121          6.9         3.2          5.7         2.3  virginica
122          5.6         2.8          4.9         2.0  virginica
123          7.7         2.8          6.7         2.0  virginica
124          6.3         2.7          4.9         1.8  virginica
125          6.7         3.3          5.7         2.1  virginica
126          7.2         3.2          6.0         1.8  virginica
127          6.2         2.8          4.8         1.8  virginica
128          6.1         3.0          4.9         1.8  virginica
129          6.4         2.8          5.6         2.1  virginica
130          7.2         3.0          5.8         1.6  virginica
131          7.4         2.8          6.1         1.9  virginica
132          7.9         3.8          6.4         2.0  virginica
133          6.4         2.8          5.6         2.2  virginica
134          6.3         2.8          5.1         1.5  virginica
135          6.1         2.6          5.6         1.4  virginica
136          7.7         3.0          6.1         2.3  virginica
137          6.3         3.4          5.6         2.4  virginica
138          6.4         3.1          5.5         1.8  virginica
139          6.0         3.0          4.8         1.8  virginica
140          6.9         3.1          5.4         2.1  virginica
141          6.7         3.1          5.6         2.4  virginica
142          6.9         3.1          5.1         2.3  virginica
143          5.8         2.7          5.1         1.9  virginica
144          6.8         3.2          5.9         2.3  virginica
145          6.7         3.3          5.7         2.5  virginica
146          6.7         3.0          5.2         2.3  virginica
147          6.3         2.5          5.0         1.9  virginica
148          6.5         3.0          5.2         2.0  virginica
149          6.2         3.4          5.4         2.3  virginica
150          5.9         3.0          5.1         1.8  virginica

Ve al Ejercicio 0 en la práctica guiada

Flujo de trabajo para el análisis de datos



Fuente: R 4 Data Science

🌈Tidyverse



Datos de ejemplo

Datos: palmerpenguins

  • En esta sesión vamos a trabajar con observaciones sobre pingüinos en el archipielago Palmer (Antartida)
  • El objetivo del dataset palmerpenguins es proveer muchos datos para hacer ejercicios de manipulación, exploración y análisis de datos.
  • Los datos fueron recopilados por Allison Horst y publicados con licencia abierta para su uso.
  • Contiene datos sobre especies, islas, largo y profundidad de la cresta, largo de las alas, etc. ?palmerpenguins.

Manipulación y Análisis de datos con R

Leyendo datos en R



Fuente: Elaboración propia.

Proyectos y directorios de trabajo

Cuando empiezas a programar para ti mismo:

  • Crea un folder dedicado a tu proyecto.
  • Inicia un nuevo proyecto de R: File>New Project >Existing Directory
  • Se creará un archivo con extensión .RProj.

Ventajas:

  • El directorio de trabajo se fijará automáticamente.
  • Automáticamente se recupera el historial de acciones y los objetos contenidos en el proyecto.
  • Es más fácil de reproducir los resultados (path relativo vs. absoluta)
getwd()
setwd()

Función readr()

Para leer/exportar archivos de texto plano en R necesitamos:

  • Ubicación de los datos (path).
  • delimitador (separador de valores) de los datos p.ej.: ., .``; o |.


Leer desde archivo Escribir al archivo Separador
read_delim() write_delim() Todos. Definido por usuario
read_csv() write_csv() Comas
read_csv2() write_csv2() Punto y coma
read_tsv() write_tsv() Tabulación

Leer archivos de otros formatos

Para importar otros tipos de archivos podemos usar los siguientes paquetes:

  • readxl: Archivos en formato MS Excel (Usa Java)
  • haven: SPSS, Stata y SAS.
  • googlesheets4: Archivos de Google Sheets.
  • rvtest: Archivos HTML.

Ejemplo: Importando datos a R

Leer un archivo ubicado en la misma carpeta que tu script:

raw_tsv_data <- read_tsv("mi_archivo.tsv")


Leer un archivo ubicado en una carpeta diferente:

raw_csv_data <- read_csv("data/original/miarchivo.csv")


Podemos descargar datos directamente de internet:

# Fuente: https://catalog.data.gov/dataset/electric-vehicle-population-data
electric_vehicles <- read_csv("https://data.wa.gov/api/views/f6w7-q2d2/rows.csv")

Ve a los ejercicios 1, 2 y 3

Uso de tibbles en 🌈 Tidyverse

  • La mayoría de las funciones en Tidyverse producen resultados en objetos denominados tibbles.
  • Los tibbles son en escencia similares a los dataframe pero no son lo mismo:
    • Hacen menos cosas:
      • Nunca convierten caracteres en factores.
      • Nunca cambian el nombre de las variables.
      • Nunca asignan nombres a las filas.
    • Ejemplos:
# install.packages("tidyverse")
# install.packages("datos")

library(tidyverse)
library(datos)

flores <- datos::flores
flores

flores <- as_tibble(flores)
flores

Selección y filtrado de datos

Uso del paquete dplyr

El paquete dplyr provee de una gramática para la manipulación de datos a partir de un conjunto consistente de verbos (funciones):

Verbo (función) Descripción
filter() Seleccionar filas que cumplan una o varias condiciones lógicas
select() Seleccionar o descartar columnas
rename() Cambiar el nombre de una columna
mutate() Transformar valores o crear una nueva columna
group_by() Agrupar datos en una o más columnas
arrange() Ordenar las filas de acuerdo al valor de las variables
summarize() Reduce un grupo de datos a una sola fila

Uso de filter()

Selecciona filas en un dataframe

  • Uso:
filter(nombre_objeto, condición)
  • Anteriormente usamos la sintáxis de R base para hacer algo similar:
gapminder[gapminder$country == "United Kingdom",] # R Base
filter(gapminder, country == "United Kingdom")  # Tidyverse

Uso de select()

Seleccionar o descartar columnas en un dataframe.

  • Uso:
select(df, col1, col2)  # Selecciona columnas 1-2
select(df, -col3)  # Selecciona todas las columnas menos col3
  • Uso de funciones de selección especiales:
select(df, contains("col"))  # Seleccionar columnas que contienen "col"
  • Comparativa:
df[,c("nombre", "edad")]  # R Base
select(df, nombre, edad)  # Tidyverse

Ve a los ejercicios 4 y 5

Uso de la función mutate()

Transforma valores o crea columnas nuevas.

  • Uso:
mutate(df, colum_name = operación)


Añadir una nueva columna:

df$nueva_var <- var + 20  # R base

df <- mutate(df, nueva_var = var + 20) # Tidyverse

Uso de la función rename()

La usamos para renombrar columnas existentes.

  • Uso:
rename(df, new_col_name = old_col_name)
  • Ejemplo:
df <- data.frame(
  name = c("Ana", "Roberto", "Claudia", "Daniel"),
  edad = c(35, 20, 24, 40),
  pais = c("MX", "US", "MX", "MX"),
  anios_estudio = c(16, 15, 16, 20),
  stringsAsFactors = FALSE
)

df$anios_estudio <- df$escolaridad  # R Base
df <- rename(df, escolaridad = anios_estudio) # Tidyverse
df

Ve a los ejercicios 6 y 7

El operador pipe

  • El símbolo %>% o |> (entonces o después) es un componente que encadena todas las operaciones de manipulación de datos.

  • Ventajas:

    • Nuestro código tiene una grámatica más amigable.
    • No es necesario anidar las llamadas a las funciones.
    • Es más sencillo eliminar/agregar operaciones en nuestro flujo de trabajo sin detener el código.

Ejemplo: Uso del operador pipe

# Nombre del objeto que usamos como insumo

df_nuevo <- df %>%  
  # Realiza una operación usando ese objeto
  filter(pais == "US") %>% 
  # Añade otra operación
  select(name, edad) %>% 
  #Añade otra operación
  mutate(edad_meses = edad * 12)

  • Notas:

    • df solo se menciona una vez al principio (seleccionar y guardar resultados de operaciones).
    • El código termina una vez que dejan de existir |> o %>%.

Ve al Ejercicio # 8

Tidy data en R

Tidy Data (Datos ordenados)

Nota

Los conjuntos de datos ordenados son fáciles de manipular, modelar y visualizar, y tienen una estructura específica: cada variable es una columna, cada observación es una fila, y cada tipo de unidad de observación es una tabla. (Wickham, 2014)

  • Así, los datos ordenados son datos rectangulares:

Formato de datos (Wide vs. Long)

  • En la vida real, los datos no los obtenemos en el formato o estructura que necesitamos para nuestros análisis.
  • Un mismo conjunto de datos puede expresarse en un formato ancho o largo:
    • En los datos en formato largo o tidy cada fila es una observación y cada columna es una variable.
    • Los datos en formato ancho pueden ser muy variables pero, en general, cada fila es un item, cada columna es una variable.

tidyr: Ordenando datos desordenados

El paquete tidyr contiene diversas funciones que pueden ser útiles para ordenar y transformar nuestros datos:

  • pivot_longer(): Útil para convertir datos en formato wide a long (Ordenar).
  • Sintáxis básica:
library(tidyr)

df %>%  
  pivot_longer(cols = c("var1", "var2",...),
               names_to = "col1_name", 
               values_to = "col2_name")
  • Donde:
    • cols: El nombre de las columnas a pivotear.
    • names_to: El nombre para la nueva columna de caractéres.
    • values_to: El nombre para la nueva columna de valores.

Ejemplo de uso pivot_longer()

# Encuesta sobre religión y nivel de ingresos
data("relig_income")
relig_income

# Datos ordenados (formato largo)

df_tidy <- relig_income %>% 
  pivot_longer(-religion, 
               names_to = "income",
               values_to = "count")

Ejemplo de uso pivot_longer()

# Aumentar el grado de complejidad con Billboard List
data("billboard")

df <- billboard %>% 
  pivot_longer(
    cols = starts_with("wk"), 
    names_to = "Semana",
    values_to = "Ranking",
    values_drop_na = TRUE
  )

# ¿Cuanto tiempo permaneció cada canción en las listas? 

df <- billboard %>% 
  pivot_longer(
    cols = starts_with("wk"), 
    names_to = "Semana",
    names_prefix = "wk", # Convierte semana a número entero
    values_to = "Ranking",
    values_drop_na = TRUE
  )

tidyr: Ordenando datos desordenados

  • pivot_wider(): Útil para convertir datos en formato Long a Wide.
  • Sintáxis básica de uso:
library(tidyr)

df %>% 
  pivot_wider(names_from = var1,
              values_from = var2)
  • Donde:
    • names_from: La columna cuyos valores serán usados como nombres de columnas.
    • values_from: La columna cuyos valores serán usados como valores de las filas (celdas).

Ejemplo de uso pivot_wider()

# Transformar de datos en formato Long a Wide

data("fish_encounters")

fish_encounters <- fish_encounters %>% 
                      pivot_wider(names_from = station,
                                  values_from = seen)


# No se registra cuando no se vió al pez.
# Podemos intuir que esto es cuando existen NA's
## Completar valores faltantes con 0's

data("fish_encounters")

fish_encounters <- fish_encounters %>% 
                      pivot_wider(names_from = station,
                                  values_from = seen,
                                  values_fill = list(seen = 0))
View(fish_encounters)
# When missing use 0

Ve al Ejercicio #9

Fuente: Allison Hill

Fuente: Allison Hill

Resumiendo y combinando datos

Uso de la función group_by()

  • Es una función del paquete dplyr que se utiliza para agrupar datos.

  • Es útil cuando queremos realizar operaciones en algunos grupos dentro de un conjunto de datos.

  • Sintáxis básica:

library(dplyr)

df_agrupado <- df %>%  
                group_by(grupo1, grupo2, ...)
  • Donde:
    • df es un conjunto de datos rectangular.
    • grupo1, grupo2,... las columnas a partir de las cuales se quieren agrupar los datos.

Uso de la función summrize()

  • Esta función se utiliza para generar resumenes de datos.

  • Permite calcular estadísticas descriptivas (promedios, sumas, max, min, etc.) sobre un conjunto de datos agupado.

  • Sintáxis básica de uso:

resumen <- df %>% 
            group_by(categoria) %>% 
            summarize(estadistica = funcion(df_columna))
  • Donde:
    • df es un conjunto de datos agrupado con la función group_by().
    • estadistica: El nombre de la columna que contendrá el resumen de los datos.
    • funcion(): Cálculo que deseas aplicar p.ej. mean(), sum(), max().

Ejemplo de uso de funciones group_by() y summarize()

# Datos de ejemplo
datos <- tibble(
  categoria = c("A", "A", "B", "B", "C"),
  valor = c(10, 20, 30, 40, 50)
)

# Calcular resumen sin agrupar
resumen_general <- datos %>%
  summarize(promedio_valor = mean(valor))

# Calcular resumen agrupado
resumen_por_categoria <- datos %>%
  group_by(categoria) %>%
  summarize(
    promedio_valor = mean(valor),
    total_valor = sum(valor)
  )

Introducción a la unión de datos con dplyr

Uniones de datos

  • En la práctica las uniones (joins) de datos nos permiten combinar información entre varios objetos.
  • La única condición que deben cumplir los datos es que tengan al menos una columna en común.
  • En R existen diversos tipos de uniones:
    • Unión a la izquierda (left join).
    • Unión a la derecha (right join).
    • Unión completa (full join).
    • Unión interna (inner join).

Unión a la izquierda (left join)

En una unión a la izquierda de dos tablas L y R, la tabla resultante (llamemosla LR) contendrá todos los registros de la tabla L, pero solo los registros de R cuyas clavles (ID) estén incluidas en L.

Unión a la derecha (right join)

Una unión a la derecha es como la anterior a la izquierda, pero al revés: la tabla final contendrá todas las filas de R, pero sólo aquellas de L con una clave coincidente. Nótese, pues, que es posible reformular una unión a la derecha de L con R como una a la izquierda de R con L.

Unión interna (inner join)

En la unión interna, sólo los registros de L y R que tengan una clave igual aparecerán en la tabla final.

Unión completa (full join)

En la unión completa, la tabla resultante contendrá todas las filas de L y todas las de R, con independencia de que no exista una clave coincidente.

Uniones de datos usando R {base}

  • Para unir tablas de datos usando R {base} podemos usar la función merge().

    • Sintáxis de uso:
merge(
  x = df1
  y = df2,
  by = "var_id"
)
  • Donde:
    • df1 y df2 son las tablas de datos que queremos unir.
    • var_id es la variable en común a partir de la que unimos los datos.

Ejemplo de uso función merge()

# Ejemplo datos ensayo clínico

demographics <- data.frame(
  id = c("P1", "P2", "P3"),
  age = c(40, 54, 47),
  country = c("GER", "JPN", "BRA"),
  stringsAsFactors = FALSE
)
adverse_events <- data.frame(
  id = c("P1", "P1", "P3", "P4"),
  term = c("Headache", "Neutropenia", "Constipation", "Tachycardia"),
  onset_date = c("2020-12-03", "2021-01-03", "2020-11-29", "2021-01-27"),
  stringsAsFactors = FALSE
)

Ejemplo de uso función merge()

# Ejemplo Unión por la izquierda all.y (derecha)

df_merge <- merge(
  x = demographics,
  y = adverse_events,
  by = "id",
  all.x = TRUE
)

df_merge
# Ejemplo Unión completa

df_merge <- merge(
  x = demographics,
  y = adverse_events,
  by = "id",
  all = TRUE
)

df_merge

Ejemplo de uniones usando dplyr

  • En dplyr tenemos una función (verbo) para cada tipo de unión:
    • left_join().
    • right_join().
    • inner_join().
    • full_join().
# Ejemplo de uniones usando dplyr
library(dplyr)
left_join(demographics, adverse_events, by = "id")
inner_join(demographics, adverse_events, by = "id")
full_join(demographics, adverse_events, by = "id")

Ejemplo de unión con dplyr

  • En caso de que el nombre de las variables ID de las dos tablas no coincida, tendrás que pasar un vector nombrado como argumento de by.

  • Nombre y valor corresponden con la clave en la primera y segunda tabla, respectivamente.

right_join(demographics, adverse_events2, by = c("id" = "pat_id"))

Ve a los Ejercicios # 10 y # 11